我们提出了一种新型的深神经网络(DNN)体系结构,以在仅在解码器侧作为侧面信息可用时,以压缩图像,这是一个著名且经过深入研究的分布式源编码(DSC)问题的特殊情况。特别是,我们考虑了一对立体声图像,它们具有重叠的视野,由同步和校准的摄像机捕获。因此,高度相关。我们假设该对的一个图像要被压缩和传输,而另一个图像仅在解码器上可用。在提出的体系结构中,编码器使用DNN将输入图像映射到潜在空间,量化潜在表示,并使用熵编码无损地压缩了它。所提出的解码器提取了仅从可用侧面信息的图像之间的有用信息,以及侧面信息的潜在表示。然后,这两个图像的潜在表示,一个是从编码器中接收的,另一个从本地提取,以及本地生成的共同信息,将其馈送到两个图像的各个解码器中。我们采用交叉意见模块(CAM)来对齐两个图像的各个解码器的中间层中获得的特征图,从而可以更好地利用侧面信息。我们训练并演示了拟议算法对各种现实设置的有效性,例如立体声图像对的Kitti和CityScape数据集。我们的结果表明,所提出的体系结构能够以更有效的方式利用仅解码器的侧面信息,因为它表现优于先前的工作。我们还表明,即使在未校准和未同步的相机阵列用例的情况下,提出的方法也能够提供显着的收益。
translated by 谷歌翻译
我们提出了一种用于在仅在解码器处作为侧面信息可用时压缩图像的新型神经网络(DNN)架构。该问题在信息理论中称为分布式源编码(DSC)。特别地,我们考虑一对立体图像,其由于视野的重叠场而通常彼此具有高相关,并且假设要压缩和发送该对的一个图像,而另一个图像仅在解码器。在所提出的架构中,编码器将输入图像映射到潜像,量化潜在表示,并使用熵编码压缩它。训练解码器以仅使用后者使用后者提取输入图像和相关图像之间的公共信息。接收的潜在表示和本地生成的公共信息通过解码器网络来获得增强的输入图像的增强重建。公共信息提供了ReceIver上相关信息的简洁表示。我们训练并展示所提出的方法对立体声图像对的拟议方法的有效性。我们的结果表明,该建筑的架构能够利用仅解码器的侧面信息,并且在使用解码器侧信息的情况下优于立体图像压缩的先前工作。
translated by 谷歌翻译
使用深神经网络作为函数近似器导致加强学习算法和应用的罢工进展。然而,我们在决策边界几何和神经政策的损失景观中的知识仍然非常有限。在本文中,我们提出了一个框架来调查各种州和跨MDP的决策边界和损失景观相似之处。我们在街机学习环境中进行各种游戏进行实验,并发现神经政策的高灵敏度方向横跨MDP相关。我们认为,这些高灵敏度方向支持非强大功能在加固学习代理的培训环境中共享非强大功能。我们相信我们的结果揭示了深度加强学习培训中使用的环境的基本属性,并代表了建立强大可靠的深度加固学习代理的有形步骤。
translated by 谷歌翻译